Hilmi Yahya dilahirkan pada 6 Mac 1949 di Balik Pulau, Pulau Pinang. Hilmi adalah anak sulung kepada bekas guru besar Sekolah Agama Permatang Pasir, Balik Pulau, Yahaya Che Mat atau dikenali sebagai Pak Ngah Yahaya .

Beliau berkahwin dengan Datin Seri Jamilah Mohd Zain dan mempunyai lima orang anak. Hilmi memiliki Ijazah Sarjana Muda Perubatan dari Universiti Malaya (1977). Ketika di Fakulti Perubatan UM, beliau dan rakan-rakan sekuliah menubuhkan Persatuan Mahasiswa Islam Perubatan sebagai wadah kepada pelajar bersuara. Di UM, beliau sempat mendengar syarahan Datuk Seri Abdullah bin Ahmad Badawi yang ketika itu merupakan Timbalan Ketua Setiausaha Kementerian Belia. Penceramah lain ialah Datuk Abdul Aziz Shamsuddin (bekas Menteri Kemajuan Luar Bandar dan Wilayah).[perlu rujukan]